azur (val de marne)

Data architect

Emploi Editeurs logiciels - Software

Boulogne-Billancourt, 92, Hauts-de-Seine, Île-de-France

Nous recherchons un(e) Lead Data Engineering / Architecte Data pour piloter la modernisation de notre infrastructure data et la transformation vers une architecture data lakehouse. Mission principale Pilier technique de notre plateforme de données, vous dirigerez la migration de notre infrastructure NoSQL vers une architecture data lakehouse avec découplage stockage/calcul, tout en optimisant nos pipelines de traitement massif et en garantissant la scalabilité. Responsabilités - Définir et piloter l'architecture data de la plateforme - Diriger la migration NoSQL vers data lakehouse (stockage/calcul découplé) - Concevoir et optimiser les pipelines ETL/ELT à grande échelle - Encadrer l'équipe data engineering et garantir la qualité - Optimiser les jobs Spark pour données IoT massives - Implémenter l'observabilité et les SLAs de qualité des données - Optimiser les coûts de stockage et calcul sur Azure Stack Technique - Data Lakehouse: Parquet/ORC, Azure Data Lake Gen2, solutions de catalogage - Processing: Apache Spark (Scala/Python), PySpark - Query Engines: Trino/Presto, JDBC/ODBC Gateways, Spark SQL - Orchestration: Airflow, GitLab CI, Kubernetes/AKS - Cloud: Azure, Terraform,[...]